1

系列モデリング入門:データ、順序、 時間的ダイナミクス

PolyU COMP5511Lecture 9
00:00

人工知能の世界において、系列モデリングは静的なスナップショットから 時間的なストリームへと焦点を移します。標準的な機械学習のタスクでは、データ点が 独立同分布(IID)であると仮定されることが多く、つまりサンプルの順序が結果に影響しないことを意味します。

系列モデリングはこれを明確に否定し、3つの中核的な柱に焦点を当てます:

  • 違反: 置換不変性表形式データでは、列の順序は任意です。系列では、順序が主要な特徴です。「The cat ate the rat」を「The rat ate the cat」に入れ替えると、同一のトークンにもかかわらず 意味的なグラウンドトゥルース が根本的に変わります。
  • 自己回帰 特性:時刻$t$の観測値は、その履歴($t-1, t-2, \dots, 1$)に数学的に条件付けられていると仮定します。これにより、情報がどのように進化するかを捉えるための遷移確率が必要となります。
  • 可変長マッピング:固定された28x28ピクセルのグリッドとは異なり、文章や地震波のような系列は 伸縮自在です。モデルは、一貫したパラメータを用いて長さ$N$の入力と長さ$M$の出力を処理する必要があります。
時間的文脈 $C_t$$X_1$$X_2$$X_3$$X_4$